раисфовабия | 


_ подхода к хранению _ 


и синхронизации писем 
|| 


 АИдрей Колесников 


Колесников Андрей 


Руководитель инженерного отдела 


МойОфис 


С1$СО 


(©) @те 


РОЧМОАТ!ОМ 


72 МуО се 


(семя) 


73 МойОфис 


су гедРат. 
СЕКТ! Е! ЕС 


геарпае. 


СЕРТ!Е!ЕОР 
ЗУЗТЕМ 


АОМИМ!5ТРАТОК 


73 МойОфис 


УИ, 


73 МойОфис 


ЕЕЕЕЕЕЕЕЕЕЕСЕОТТ и 


73 МойОфис 


Начало: Роз{егебс(и(,, 
Ореп${асКк 5млЯ 


. Метаданные хранятся 
в Ро$\егеб ОЕ (конверт), тело — 
в Орепаск 5\м# 


. Кластеризация Расетакег 
(менеджер ресурсов) + Согозупс 
(транспортный уровень) 


73 МойОфис 


Соге 


М!еБ АР! 
Май АР! й 
(Са АР! 

Саг4 АР! 


\еЬ Бау 


Са! Рам 


Сага Бам 


1МАР/ЗМТР. 


'пдехег 


И 


РозЕ ге ОЕ 


[= 
... 


`, Керйсайоп 


С 


5 

... 

5 
ее: 
мех 
оо 
=) 
®.® 


} 


$МЛЕТ $4огаре 


( Мопкойп8 
(тов сонесог 
( МапавтепЕ 


... 
О 


( Ведб Саспе | 
( Ве оскз : 


Ке4!$ 5е5510п5 


Начало: Ро${еге5 О, Ореп$“асК 5млЕ 


Посмотреть заголовок в базе: 


ЗЕЪЕСТ * РВОМ обес ММНЕВЕ ргорз-> >'епуеоре' МКЕ '%Е36А916005Е@туосе.ги%'; 


1а | ОаНа1иБуп МН 

ом/пег | Ча№а1ТТ85ОмиаАоМоб 

Не | Совещание:1 — тема сообщения 
р_Яе | га№а1НОупгИбах2В$87 


10 


Начало: Роз{еге5 О, Ореп$“асК 5млЕ 


Посмотреть заголовок в базе: 


ЗЕЪЕСТ * РВОМ обес ММНЕВЕ ргорз-> >'епуеоре' МКЕ '%Е36А916005Е@туосе.ги%'; 


1а | ОаНа1иБуп МН 

ом/пег | Ча№а1ТТ85ОмиаАоМоб 

ще | Совещание:1 — тема сообщения 
р_Яе | га№а1ОупгИбах2В$82 


Получить файл письма: 


$\М И: -А ИНр://10.2.3.4:8280/аи{И/\1.0 -Ц зумет:упсасс -К ХХХХХХХХХХХ аомиптоаад 
ЦаШа1ТТ85ОмиаАоМоб Ра{а1НБупгИбах2В$87 


72 МойОфис 
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Начало: Роз{еге5 О, Ореп$“асК 5млЕ 


Посмотреть заголовок в базе: 


ЗЕЪЕСТ * РВОМ обес ММНЕВЕ ргорз-> >'епуеоре' МКЕ '%Е36А916005Е@туосе.ги%'; 


1а | ОаНа1иБуп МН 

ом/пег | Ча№а1ТТ85ОмиаАоМоб 

ее | Совещание:1 — тема сообщения 
р_Яе | га№а1!ОупгИбах2В$82 


Получить файл письма: 


$\Н: -А ИНр://10.2.3.4:8280/аи{И/\1.0 -Ц зует:упсасс -К ХХХХХХХХХХХ аомиптоаад 
ЦаШ№а1ТТ85ОмиаАоМоб Ра{а1НБупгИбах2В$87 


тоге Ра№а1НупгИбах2В$87 


73 МойОфис 
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Предел производительности 


Максимальная производительность 
2500 ВРб (100 000 пользователей) 


За время тестирования в системе 
было создано: 


. 342 073 пользователя 
. 13835 954 директории 
. 18628 870 файлов 


73 МойОфис 


С девиза | 
СПепс5 (СУМ-егуег$) ) 
( РЕ Чц5(ег ) 


ВЕ Чи$(ег 
] 5аве$ |ауег 


( 08-1 08-2 


ов а и$ег 


т ац&ег 


$Т-3 ОВ-3 


аеги!ауег 


13 


Роз етезо!, Ореп${аск $ммИ 


© 


Плюсы: 
. Наличие экспертизы 
. Проверенные временем технологии 


. Большое комьюнити 


73 МойОфис 


© 


Минусы: 


. Архитектурные погрешности, монолит 


. Ограничения масштабирования (Ро${ете5 ОЕ 


по умолчанию поставляется для работы 
с одним сервером, обслуживающим запросы 
и двумя резервными) 


Подсистема управления блокировками 
и кэшированием (Вед) — узкое место 
для большинства методов 


14 


Ооуесо! 45упс 


Моде 1 Моде 2 


( Се ) 
73 МойОфис 15 


Ооуесо{ 45упс & 5Пагед МаПБохе$ 


. Расшаренные ящики == проблемы синхронизации @°упс: 
В рэ:/ЛилК!.Чомесот.оге/5Ваге4МайБохе/Сши$ег5е1ир 


Ооуесо* 45упс: та4епЕ гезоуе4 


Врэ:/ЛилК!. Чомесо*.оге/5ваге4МайБохе/Сшег5еир 
Твеге аге зоте #тНаНопз Гог {515 Кпа о? ие сазе: 


® 1парс_ж зе пс аге >1оБа|. Уоц сап“* Ваме \ю ЧЧегеп{ патезрасез м И (ИНегеп{ 1тарс зе пя ует. 


® Те 1тарс со4де доезп“ зиррой: зоте 1МАР {еаигез. Моз{ иптропапйу 5ОВТ 151“ зирромед, м сн тау 
гезий п |омег рейогтапсе. 


Ргоже5 


О/иесгогз 


Ассез {о $НагеЧ паппезрасе Парреп 
Ма!тарс гейгесвоп епзигез ассе$ [5 
Чтессед о {пе соггес(баскепд 


Васкепаз 


зогаве 


| ас _зВагед_ойсЕ | 
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73 МойОфис 


СизегЕР$ 


Виск — каталог хранения, основная единица хранения С\и$егЕ5 
Моите — том, логическая комбинация каталогов хранилища 


91изфег уо1ите 1по 


\Уо1ите Мате: д9у09 

Туре: Кер11сате 

Уо1ите ТО: 125сс398-6311-4169-96е1-3е22а4с6171+ 
Зтатиз: Зфагтед 

ЗпарзНоф Соипт: 9 

Митбег оф Вг1ск$: 1х3 =3 
Тгапзрог{-туре: тср 

Вг1сК$ : 

Вг1сК1: зегуег : /дата/Ьг1ск1 /ду@ 
Вг1сК2: зегуег2 : /дата/6г1ск1/ду0 
Вг1сКЗ: зегуегЗ : /дата/Ьг1ск1 /ду@ 
Ор{1оп$ Весоп{1дигед: 

Тгапзрог{ .а94ге$з-Рат11у: 1пет 


73 МойОфис 
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СизегЕР$ 


ВерИсайе4 — тома с репликацией. 
Аналогично ВАТО 1. В такой 
конфигурации одни и те же данные 
записываются минимум на два 
подтома. 


НЫ 


МоипЕ РотЕ 


Е 


ВерИсакед /оите 


Зегуе:ехр1/ 


Зегуег2:ехр2/ 


19 


СизегЕ$ 


Узегзрасе 


Кегпе! 


16 - | Аипр/Аие 


„Ле!о Атр/Лизе 


20 


СизегЕР$ 


© © 


Плюсы: Минусы: 


° Быстрый старт . Чувствительность к задержкам 


. Большое комьюнити в сети (> 50 т5) 
и сопровождение Вед На{ 
(В 2011 проект был приобретен 
компанией Ке4д На+ и лег в основу 
Вед На+{ 5огаве 5ег\уег 
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. Массовое удаление файлов: 
Ветое 1/О еггог 


Собственная разработка: 
О1зрегзед ОБесЕ Зоге 


> ки” ам 
т 
а 
| № 
| "Мент [ НЫ 05 н 
> № | 
я т не" 
- 2 
ы Рай 
| м 2728 
р ПИ Т РВ 
= | я Но . 
м НЫ, ] Ноь р 
ыы Но, ра З0 
: в. $55 РО | 
‘егмиа ` Л 
Жо 
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Особенности корпоративной переписки 


м Большое количество полностью 
или частично совпадающих писем: 


. У каждого письма минимум 2 копии (отправитель и получатель). 
. Корпоративные рассылки (ещё больше копий). 

. Шаблонные письма (ЕВР-системы, баг-трекеры, календари). 

. Повторяющиеся элементы писем (вложения, подписи). 


. Длинные цепочки писем со взаимным цитированием. 
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Структура электронного письма 


Заголовок письма » От: зегсеу.зегрееиу@туо!Ясе4еат 


'Чтот""зегеузетвесу@туо Иседеат", 


Кому: аехеу.ровиат@туо!Йседеат —— 10"; "аехеу.ровиатетуо"селеат", 
"сгеае4_а1":"2020-09-23110:01:027+03:00*. 
Дата: 23.09.2022 
| Части письма — ы ` 
ее 8 ы | Здравствуйте, отправляю отчёт | 
Здравствуйте, отправляю отчёт | овзаимодействии с корпоративными | 
о взаимодействии с корпоративными ь | клиентами за || квартал 2020 года. | 


ы клиентами за | квартал 2022 года. Сергей Сергеев 
Основной текст > 


Сергей Сергеев 


Руководитель направления 
по работе с корпоративными клиентами 


Картинка 
из подписи 


Вложенный файл № 
РЗ моофи 


Способы хранения электронной почты 


МБох 


один почтовый ящик — один файл 
МайБох 
Меззаре1 —_ 
Раг1 
Рай2 (®5Р) 
‚_—_ Меззаре 2 


Рай1 
Меззарез ——_ 


Способы хранения электронной почты 


МБох Майа: 


один почтовый ящик — один файл одно письмо — один файл 


МайБох МайБох 


Меззаре1 —_ Меззаре1 —_ 


__ нм о К 


| РагЕ1 | Раг1 
| Раё2 (7) Раг2 _ (7 
—— Меззаре 2 Ме5зае2 —— 
в Раг1 С 
Меззаве3 ——__ | 
| | Раг1 
Раг2. [СО 
|1 [№ Райз 5 


Майа 


м МойофиО ы |] ый’ 26 


Способы хранения электронной почты 


Мрох 


один почтовый ящик — один файл 


МайБох 


Меззаре1 —_ 


| Раг1 


| Рат2 (Е) 
ЕС НЕВОЧИА 


— Меззаве 2 


Майа 


одно письмо — один файл 


Ма!оп 
один парт — один объект 


МайБох | МайБох 
Ме5заве1 —— .— Меззаре 1 
й 
| Рай 1 / Рап1 ___ @9 
Рай? Ра? (> 4 
Меззаре2 —___ ——  Мезаве2 
^ 
| Раг1 
Меззаре 3 а 
| Раг1 й 
| Раг2 (^^) | | 
| Раг3 (вв) | | | 
|| | 


Майа 


МекаБазе О15регзей 
'ОБесе 5хоге 


> 
| еще 


| й 
й. 
Мезваре 1 р 
2" | 
| р 
ре 
> | р. 
| меш = 
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Дедупликация пои 
на уровне 
объектов 


Сервис обработки входящей почты ы 


РагЕ ОхОЕАБ 


28 


Дедупл И ка Ц И Я Шаг №1: сохранение Шаг №2: сохранение второго письма, 


на уровне 
объектов 


первого письма которое частично совпадает с первым 


Сервис обработки входящей почты Сервис обработки входящей почты 


Рагё ОхОЕАЙ 


© / 


псгетеп{Сорез 


У 
Объект 0хОЕАБ Объект ОХВААВ а Объект == Объект ОхВААБ | 


Значение счётчика 
копий увеличивается ^— 29 


Дедупл И ка Ц И Я Шаг №1: сохранение Шаг №2: сохранение второго письма, 
первого письма которое частично совпадает с первым 

на уровне 

объектов 


Сервис обработки входящей почты Сервис обработки входящей почты 


Плюсы: 
Экономия дискового 
пространства 
Экономия сетевого 
трафика 


Рагё ОхОЕАВ 


псгетеп{Сорез 


Минусы: - 


. Усложнение логики У 
Объект 0хОЕАБ Объект ОХВААВ а в Объект ОхВААБ | 


клиентского сервиса 
Значение счётчика 


73 МойОфис копий увеличивается 30 


Тип и размер данных 


. Хранилище умеет определять формат 
поступивших данных: 
У Тех (5%, Мт|, 822) 


Чанкинг Компрессия Чанкинг Компрессия 
У Впагу (1таве, мдео, аидто, ра?) 
. Разные конвейеры обработки С 
для разных типов данных Большие,  ценпед + Е ы 
. средние свипКие сПипКпЕ 
. Размер данных имеет значение. 
Малые - - - - 
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Отказоустойчивость и избыточность 


«Полная» избыточность 


«Дробная» избыточность 


=] Экземпляр ® 


ЕЗ Фрагменты данных 
= (4 экземпляров) 
объекта 


Я Избыточные фрагменты 
22 (р экземпляров) 


№де2 


Полные копии объекта Небольшие фрагменты 
хранятся на разных объекта хранятся 
узлах кластера 


на разных узлах кластера 


( Ер>2, рем 


вр ЧР с (1:2 
4 
нео 
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Отказоустойчивость 


и избыточность 


. Соотношение метаданных 
к данным изменяется в пределах 
1:3 — 1:500. 


. Для каждого слоя хранения 
установлен свой уровень 
избыточности. 


Е)тею Е {2 3, 5} 
Ва Е (1; 


( Объект 


Чанкинг 
Слой хранения | 
метаданных Компрессия 
(ВР копий) 


Слой хранения 
данных 
(1 копия) 


{ 


я 


ео 


Кодирование Рида-Соломона (4+р=2+1) 


ео Фо 


еее» ПР’ садринир» О <> | 


— 1 


Телол1 | `Тело2) Телоз | 


= Телоб) 7 = 
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Эффективность оптимизаций 


ВЕСЕМЕО 
54 > Сервис обработки 
входящей почты 
Поток входящей - 


почты 


КЕСЕМЕО 


= 9 | 
р т. 


5) 


34 


Эффективность оптимизаций 
ВЕСЕМЕО $ х 13,6 МАПТЕМ 


р 
= Сервис обработки псгетепЕСор!ез 
входящей почты ЕЕ 
Поток входящей 


почты 


ВЕСЕУЕО 


= 9 | 
о 


МУВИТТЕМ 


СНЕ 
73 МойОфис 
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Эффективность оптимизаций 


ВЕСЕМЕО ] х 13,6 МАПТЕМ 


В Сервис обработки псгетепЕСор!ез* 
входящей почты ЕЕ 


Поток входящей 
почты 


ВЕСЕМЕО 


млиттем  ЭТОКЕО 


СБЕЗИ 
73 МойОфис 


7 х1з 


О15регзеЯ ОБесЕ 5+оге 


[ Дедупликация объектов Г) 


Конвейеры обработки 
данных 


$ТОКЕО 


550 
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Эффективность оптимизаций 


ВЕСЕМЕО $ х 13,6 МАПТЕМ т х 1,3 


> О15регзеЯ ОБесЕ 5+оге 


Сервис обработки псгетепЕСор!ез 


—ъ> . 
входящей почты 


Поток входящей 
почты Конвейеры обработки 


данных 


ВЕСЕМЕО 


Весешей —Песеше И’иМеп 13.6 _ 


Б1отеа И Неп юге 1.3 


ВОнем = 1 
Вана == м = 1.5 


р 
млиттЕм ЗТОВЕО 


БЕЗ 
73 МойОфис 


[ Дедупликация объектов |. | 


$ТОКЕО 


550 
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Май (100%) 


МаШоп у$ МаЦатг 
т 


Неадегз (30%) Рац$ (70%) 


м 


МеаБазе ) О15регзед в 
ОБеси $4юге / 


ПР =3 
ВРшь = 2 


. БФ 
73 МойОфис Тожа! (16.6%) ы 


МаШоп $ Майа 
ыы ы 


ПР =3 
ВРиь = 2 


ЕР =3 


72 МойОфис 


Май (100%) Май (100%) 


{ 


Неадегз (30%) Рап$ (70%) < 


МеваБазе ) перегзе ^) 
и ОБеси З4юге_ 
[ № де 1 [№чез 
[ №4де2 


Толпа! (300%) 


№4е 1 


[М оде2 [№Чез 
| | 
еее @ 


Тота! (16.6%) еы 


Май (100%) Май (100%) 


МаШоп у$ Маца! 5 59 
у у 
. Потребление дискового Неадегз (30%) Рап$ (70%) $ 


пространства ниже в 18 раз г бб 
(300% / 16.6% = 18.07). : == ВИ 
МеваБазе ) 015регзед ^ о ` 
: ОБес+ $1юге 
. Стоимость хранения данных | : 
[№че1 [№чез 


ниже в 8 раз. № ае1 
[ М№ се 2. 
ПУР неа №ае2 № де 3 ия 
—————_——_ 


2+2 
ВРишь = ^=2 Г | Тола! (300%) 


й. 


ЕР =3 


, УФ. 
72 МойОфис Тота! (16.6%) ы 


Расчёт стоимости хранения данных 


МЛКБоп НОО & $50 Рисе-гедисйоп Рго]есНоп$ 2020 - 2030 


| 2020 2021 12022 1023 2024 2025 2026 2027 2028 2029 — 2030] САСВ 2020- 


30 
6% 
8% 


нор $/тв $ 25$ 21 Я 93| 18$ 17$ 16$ 15$ 1щ4$ 14$ 13$ 13 
$50 $/ТВ $ 128 $ 86 $ 5 40 $ 29$ 21$ 15$ 12$ 9$ }75$ 6 
3.0 2.2 1.7 1.3 1.0 0.8 0.7 


-5. 
-26. 
0.54 -22.5% 


НОО Уг% 4есгеазе -7.2% -6.9% -6.5% -6.2% -5.9% -5.6% -5.4% -5.1% -4.9% -4.6% -4) 
$50 Уг% десгеазе -34% -33% -32% -31% -29% -28% -26% -25% - - р 
-29%___28% 


[боигсе: © ИЛКГЬОп, 2021 


. 500ТВхЗ = 1,5РВ (сшизкег Майай) В ре: //лИКБоп.сот/а(с-НазН-Ватг<-НаЯ 


. 1,5РВх 19$ = 28 500$ (си{ег Майа!) 
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Расчёт стоимости хранения данных 


МЛКБоп НОО & $50 Рисе-гедисйоп Рго]есНоп$ 2020 - 2030 


| 2020 2021 12022 1023 2024 2025 2026 2027 2028 2029 — 2030] САСВ 2020- 
19 $ 
3.0 


30 
НОО $/ТВ $ 25 2 9518$ 11$ 16$ 155$ м$ 145$ 13$ в -5.6% 
$50 $/ТВ $ 128$ 86$ 40$ 29$ 21$ 15$ 12$ 9$ 7$ 6 -26.8% 

2.2 17 13 1.0 08 07 054 -22.5% 


НОО Уг% 4есгеазе -7.2% -6.9% -6.5% -6.2% -5.9% -5.6% -5.4% -5.1% -4.9% -4.6% -4) 
$50 Уг% десгеазе -34% -33% -32% -31% -29% -28% -26% -25% - - р 
-29%___28% 


[боигсе: © ИЛКГЬОп, 2021 


. 500ТВхЗ = 1,5РВ (сшизкег Майай) В ре: //лИКБоп.сот/а(с-НазН-Ватг$-НаЯ 


 1,5РВх 19$ = 28 500$ (си{ег Майа!) 
° 28 500$ / 8 = 3 562,5$ (си${ег 00$ 
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Нагрузочное тестирование 


. Профиль нагрузки на 600 000 пользователей: 


- вход в систему; 
- отправка новых писем; 

- создание событий в календаре и реагирование на них; 
- другое. 


. Для тестирования использовали Кб компании Сгатапа 1аБ$ 


. Скрипты тестирования запускались на группировке из 46 серверов, которые 
суммарно были оснащены 636 процессорными ядрами, 2,8 ТБ оперативной 
памяти и накопителями емкостью более 135 ТБ. 
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Нагрузочное тестирование 


. В ходе испытаний инженерами проверялась гипотеза о стабильной работе системы под нагрузкой 6081 
ВР$ (операций в секунду). Это эквивалентно действиям 600 000 пользователей, 
которые в течение дня отправляют и получают 1,14 млн писем. 


Кедиез!$ рег Зесоп 


16:30 17:00 1730 18:00 19:00 20 2200 | 2 00:00 
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Нагрузочное тестирование: 6081 ВР$ 


Распределение нагрузки на 20$ 
140 


время ответа р99, мс 


р Е 
0 
58% запросы на изменение счётчика 28% запросы на запись данных 14% запросы на чтение данных 


копий у данных 
РЗ моофи 


Нагрузочное тестирование: раунд 1 


* Выявлены критические задержки некоторых методов 
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Нагрузочное тестирование: раунд 2 


* Корректировка конфигурации (подключения к базе, кэш) 


Собственное объектное хранилище 


© © 


Плюсы: Минусы: 


. Контроль над разработкой, приоритизацией . Сложная и дорогая разработка 


. Дедупликация и компрессия (распределённый з{а1еи-сервис) 
. Повышение экономической эффективности 

почтовой системы 
. Оптимальный баланс аппаратных ресурсов (СРУ / 

ВАМ \° Г15К / ТО) 
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